spark |
您所在的位置：网站首页 › idea spark 数据写入 hdfs 权限 › spark |
|
前提：程序是放在服务器上运行，而非在自己电脑本机环境下运行 1 spark-sql 自己写的代码程序，不做任何改动 2 关键是 spark-submit的 --keytab，--principal参数 如 spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/[email protected] --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-SNAPSHOT-jar-with-dependencies.jarkerberos相关的参数说明： keytab：hdfs用户的kerberos的认证文件的详细目录地址 principal：hdfs-site.xml文件中，属性 dfs.datanode.kerberos.principal 定义的值 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |